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DEVICE AND METHOD FOR CALmRATING AN IMAGE SENSOR 
Background Information 

The presait invention relates to a method for determining calibration parameters of an image 
sensor. 

5 Motor vehicle manufacturers plan the application of sensor systems, especially of image 
sensors, for monitoring the passenger compartment of a motor vehicle. The use of image 
sensors is provided for inteUigent air bag control. Within the scope of intelligent air bag 
control, one task is the classification of seat occupancy in the motor vehicle, in order, for 
example, to prevent injuries in small children by the triggering of air bags in the case of 

10 reverse-mounted child seats. Other planning involves monitoring the position of body parts of 
the passengers, such as the head or the torso, and/or tiie seating attitude of the passengers 
with respect to the air bag by a so-called "out-of-position detection", so as, in particular, to 
avoid injuries by too close a positioning of the head to the air bag module when the latter is 
triggered. 

15 As an example, firom WO 01/60662 Al, a method and a device are known for the detection of 
seat occupancy with the aid of a video sensor systan and a foot space sensor system. It is 
proposed there to record the height of the head of a person occupying a seat using the video 
sensor system, to carry out, together with the foot space sensor system, a classification of the 
seat occupancy, and to control the air bag as a function of the seat occupancy. Any hints on a 

20 device and a method for determining calibration parameters of an image sensor of the video 
sensor system are missing firom WO 01/60662 Al. 

Summary of the Invention 

The device described below for determining at least one calibration parameter of at least one 
image sensor, upon a detected decalibration of the at least one image sensor a processing unit 
25 determining the at least one calibration parameter as a function of image signals, which the at 
least one image sensor derives from at least one invariant pattern, has the advantage that 
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faulty functioning of at least one image sensor is able to be detected as a result of 
decalibrations and in addition is able to be automatically corrected. Altematively, or in 
addition, it is of advantage to report a detected decalibration to at least one subsequent system 
and/or to the driver (operator) of the motor vehicle. In an advantageous manner, the 
5 automatic monitoring of the calibration contributes to a reUable functioning of image sensors, 
and thereby especially makes possible the use of image sensors, for applications in the motor 
vehicle passengers compartment, that are critical to safety. 

Also in an advantageous manner, the expenditure for the assembly of the at least one image 
sensor in the motor vehicle is reduced by the automatic deteraiination of at least one 

10 calibration parameter. This makes it unnecessary to carry out special calibration methods 
during the production of the motor vehicle and/or during repairs. Furthermore, the device 
contributes to tight manufacturing tolerances, which would have to be specified without the 
device, described below, for maintaining calibration parameters, being able to be loosened 
up. This yields an especially advantageous reduction in costs both in the manufacturing 

1 5 and/or the repair of a motor vehicle. In summary, the device described below is suitable in an 
advantageous manner for mass production application of image sensors for those applications 
in motor vehicles that are critical to safety, particularly for intelligent air bag control,^ 
particularly since faulty functioning of image sensors is detected especially in the form of 
decalibration. 

20 What is particularly advantageous is the formation of the at least one invariant pattem by at 
least one reference object mounted in the scene for the determination of the at least one 
calibration parameter. The utihzation of signalized reference objects for the calibration of at 
least one image sensor is advantageous. Particularly advantageous are the signalized 
reference objects in the passenger compartments of motor vehicles. Signalized reference 

25 objects have the advantage that they are easy to record by the sensor system, and because of 
the signalization, they are reliably able to be identified in the measuring data, using means of 
signal processing. 

It is advantageous if the signaUzation of the reference objects is achieved by an especial 
brightness, either actively by illumination means, such as LED diodes and/or infirared light- 
30 emitting diode, and/or passively by surfaces of high reflectivity (reflective capacity, albedo). 
Therefore, special advantages come about due to reference objects which are developed as 
means of illumination, particularly as light-emitting diode (LED diode) and/or have high 
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reflectivity. Reference objects developed in this manner contribute to simple recordability of 
the at least one invariant pattem by the processing imit. 

It is also advantageous if the signalization of the at least one reference object is achieved by a 
special shape. Especially advantageous are reference objects that have a geometrical shape, 
5 such as, for instance, a point and/or a circle and/or a triangle and/or a quadrilateral and/or a 
square. Altematively, or additionally, letters and/or characters and/or logos are advantageous 
as reference objects. This contributes to a simple abiUty to identify the at least one invariant 
pattem in the image signals. 

It is also advantageous to arrange reference objects to form at least one two-dimensional (2D) 
10 and/or at least one three-dimensional (3D) invariant pattem, the pattem having a geometrical 
shape such as, for instance, a cross and/or a circle and/or a character. This variant of the 
device described below is particularly advantageous in connection with signalized reference 
objects, especially those signalized by means of illvraiination such as light-emitting diodes. 
This helps in having the at least one invariant pattem able to be easily recognized by the 
15 processing unit and possibly having various invariant patterns able to be distinguished from 
one another. 

It is particularly advantageous if the at least one reference object is mounted on. at least one 
object of the scene relevant with respect to the monitoring function of the at least one image 
sensor. In particular, if the device is used in a motor vehicle, it is especially advantageous if 

20 at least one known reference object and/or one invariant pattem (reference pattem) is located 
on at least one object that is relevant for the respective appHcation, such as, for example, the 
air bag flap and/or the actual air bag and/or the steering wheel. This makes possible the 
measurement of the distance between at least one or several of these relevant objects and 
other objects m the motor vehicle's passenger compartment that are also not signalized, 

25 without the position and alignment of the sensor system, that is, of the at least one image 
sensor, to this at least one relevant object having to be known a priori, for instance by 
measuring using an additional sensor. 

Another advantage occurs if the at least one invariant pattem is altematively or additionally 
formed by at least one naturally occurring object of the scene. It is especially advantageous if, 
30 for the purpose of calibration, the position of objects, present in the motor vehicle 

conditioned upon the model, is monitored and followed in the image signals. Objects, present 
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in the motor vehicle conditioned upon the model, are, for instance, at least one door pillar 
and/or at least one instrument and/or at least one inside roof lining of the motor vehicle roof. 



The device described below is advantageous for determining at least one calibration 
parameter of at least one CMOS image sensor and/or at least one CCD image sensor and/or at 
5 least one monocular image sensor and or at least one stereo camera and/or at least one image 
sensor giving an image in depth. 

The advantages of the device described above correspondingly apply to the method for 
determining at least one calibration parameter of at least one image sensor. 

Particularly advantageous is a computer program having program code means for carrying 
10 out all the steps or at least the essential steps of the method described below, when the 

program is run on a computer. The use of a computer program makes possible the rapid and 
cost-effective adaptation of the method to different invariant pattems and/or different scenes, 
especially different passenger compartments of motor vehicles. 

Additional advantages are revealed in the subsequent description of exemplary embodiments 
15 with reference to the figures and in the dependent claims. 

Brief Description of the Drawings 

The present invention is explained in greater detail below with the aid of exemplary 
embodiments shown in the drawings. The figures show: 

Figure 1 a drawing of a general view, 

20 Figure 2 a block diagram. 

Figure 3 a drawing of the general view of a preferred exemplary embodiment. 

Figure 4 a flow chart. 

Figure 5 a drawing of a general view of an additional exemplary embodiment. 

Description of Exemplary Embodiments 

25 Below, we describe a device and a method for monitoring, tracking and determining at least 
one calibration parameter of the geometrical calibration of at least one image sensor, the at 
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least one image sensor being configured in such a way that it monitors a scene with the parts 
remaining the same. In one exemplary embodiment, the at least one image sensor is used for 
monitoring the passenger compartment of a motor vehicle. 

When image sensors are used within the scope of inteUigent air bag control in the passenger 
5 compartment of the vehicle, particularly for the classification of seat occupancy and/or out- 
of-position detection, the production of a geometrical position relationship between 
measuring data and the passenger compartment of the vehicle is necessary, that is, for 
example, the body and/or the air bag module. To do this, two different assumed designs are 
conceivable. First, it is possible to describe the measured value recording explicitly by a 

1 0 mathematical model. The mathematical model contains numerical calibration parameters 

which describe the position of the at least one image sensor with respect to the motor vehicle 
(extrinsic calibration parameters of the extrinsic calibration) and/or numerical calibration 
parameters which characterize the measured value recording in at least one image sensor 
(intrinsic calibration parameters of the intrinsic calibration), hitrinsic calibration parameters 

15 are, for example, at least one camera constant and/or at least one camera principal point 

and/or at least one register parameter. In the second procedure, there is a direct evaluation of 
the measured data, for instance, using a classificator. In this context, there exist expUcitly no 
numerical calibration parameters in the overall system of image sensor and evaluation. For 
the classification, an adaptive classificator is used in the processing unit, for instance, a 

20 neuronal network. The classificator is trained fixst. To do this, using the sensor, various seat 
occupations are recorded, for instance, seat empty and/or child's seat, and, for the situation, 
one manually stores the desired, correct decision as, for example, seat empty. The 
cl£issificator is notified of measured data having a correct decision, and it extracts fi-om this 
data for the classification (training of the neuronal network). In its later use, the classificator 

25 will derive a decision firom arriving measured data. The classificator knows nothing about the 
geometry and the caUbration. If the image sensor changes its position in the motor vehicle, it 
is not sure that the classificator will deliver correct decisions without renewed training. After 
beginning to use an image sensor in a motor vehicle, for monitoring the passenger 
compartment, corresponding to the two procedures, either the calibration parameters have to 

30 be known and/or determined, or the properties of the measured value recording are implicitly 
assumed to be known or to be constant over the time period of use. These properties of the at 
least one image sensor, that there is an explicitly and/or implicitly knoAvn geometrical 
position relationship between the measured data and the monitored scene, particularly the 
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passenger compartment of the motor vehicle, is designated as the geometrical calibration of 
the at least one image sensor. 



The subsequently described device and the method perform automatic monitoring and 
detection of decalibration, for instance, by maladjustment and/or changes in the measured 
5 value recording, of the at least one image sensor. Besides that, the device and the method 
make possible the automatic determination and/or tracking of at least one caUbration 
parameter of the at least one image sensor during the operation of the sensor. For the 
automatic monitoring of the decalibration and the calibration of the at least one image sensor, 
at least one special signalized reference object, which, in the preferred exemplary 

10 embodiment is applied in the passenger compartment of a motor vehicle, and/or at least one 
naturally occurring object of the scene, in the preferred exemplary embodiment at least one 
design-conditioned object present in the motor vehicle^ are used as reference objects. The 
reference objects are observed using the at least one image sensor. The measured data of the 
at least one image sensor appertaining to the reference objects are also evaluated by 

15 comparing the measured data with the setpoint data. In the light of the difference between the 
measured data and the setpoint data the functioning of the at least one image sensor is 
monitored and/or the at least one image sensor is caUbrated after the determination of at least 
one calibration parameter. 

Figure 1 shows a general drawing of the preferred exemplary embodiment to explain the use 
20 of image sensor 12, which is being applied to the monitoring of passenger compartment 28 of 
a motor vehicle. Image sensor 12 is applied in the vicinity of windshield 30 and roof 36 of the 
motor vehicle in such a way that the image coverage area of image sensor 12 records 
passenger compartment 28 of the motor vehicle. In this context, image sensor 12 records seat 
38, for example, the front passenger seat and/or headrest 40. In addition, image sensor 12 
25 possibly records a person (that is not drawn in) and/or other objects in passenger 

compartment 28, particularly on seat 38. Image sensor 12 is connected to a processing unit 14 
via a signal line 26. Figure 1 shows position 30 of image sensor 12 with respect to reference 
system 32 of the motor vehicle. Figure 1 also shows an air bag module 50, which is appUed 
for the protection of persons in passenger 28 when the motor vehicle is in an accident. 

30 Figure 2 shows a block diagram of Figure 1, composed of scene 10 that is to be monitored, 
image sensor 12 and a processing imit 14. Scene 10, that is to be monitored, is the passenger 
compartment of the motor vehicle. From light radiation 20 of scene 10 that is to be 
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monitored, image sensor 12 generates image signals 22. Image signals 22 are transmitted as 
measured data to processing unit 14 via signal line 26, as shown in Figure 1 . In processing 
unit 14, first of all, the method described below, for determining at least one calibration 
parameter, is carried out. Secondly, the processing of image signals 22 of image sensor 12 
5 takes place in processing vmit 14, in order to fulfill the monitoring fimction of image sensor 
12. Image sensor 12 and processing unit 14 form measuring system 16. In the preferred 
exemplary embodiment, image sensor 12 is used for the intelligent control of the air bag. 
Processing unit 14 evaluates image signals 22 in order to pass on signals of measuring system 
24 via a signal line to a subsequent system 18 for the air bag control. The signals of 

10 measuring system 24 include data for the classification of the seat occupancy and/or data on 
out-of-position detection of persons on the seats of the motor vehicle. The transmission of 
image signal 22 and/or the signals of measuring system 24 on the signal lines takes place 
electrically and/or optically and/or by radio communication. In one variant of the preferred 
exemplary embodiment, image sensor 12 and/or processing imit 14 and/or the following 

1 5 system 1 8 are implemented in one or possibly several units. 

Figure 3 shows a general drawing of the preferred exemplary embodiment having a device 
for determining at least one calibration parameter of image sensor 12. Figure 3 represents a 
broadening of Figure 1. In the following, only the additional parts in Figure 3 are explained. 
In passenger compartment 28 of the motor vehicle, specially signalized objects 42 are 

20 inserted in such a way that they are within the image coverage area of the image sensor. 
Signalized objects 42 are objects which are well detected automatically by each respective 
sensor system, in the preferred exemplary embodiment this being image sensor 12. In the 
preferred exemplary embodiment, infi-ared light-emitting diodes (IR light-emitting diodes) 
are used. The position of signalized objects 42 in the measured data (image signals) of image 

25 sensor 12 (video sensor) are compared to the setpoint position of signalized objects 42 in 
processing unit 14. When there is a deviation, this detects a decalibration. Furthermore, the 
position of signalized objects 42 in the sensor measured data is used for the tracking and/or 
determination of at least one calibration parameter. In one variant of the preferred exemplary 
embodiment, reference objects having surfaces of high reflectivity are used as signaUzed 

30 reference objects 42. Preferably, signalized reference objects 42 having a reflectivity between 
0.5 and 1.0 are used. The synonyms reflectivity, reflection capacity and albedo indicate the 
proportion of the radiation, incident on a surface, that is reflected. The reflectivity may 
assume values between 0 and up to 1, a value of 1 meaning that 100% of the incident 
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radiation is being reflected. In addition, the reference objects possibly have a geometrical 
shape. As geometrical shapes, use is made, for example, of at least one point and/or at least 
one circle and/or at least one triangle and/or at least one quadrilateral aad/or at least one 
square. Alternatively, or in addition to the geometrical shape, in further variants, at least one 
5 letter and/or at least one character and/or at least one logo are used as reference objects. In 
one additional variant, several reference objects are alternatively or additionally positioned to 
form a 2D or a 3D pattern, for example, at least one cross and/or at least one circle and/or at 
least one character. In addition, the reference objects and/or the pattems are mounted 
altematively or additionally on at least one object relevant to the respective application, such 
10 as the air bag flap and/or the actual air bag arid/or the steering wheel. Evaluation unit 14 
includes at least one microprocessor and is made up of a plurality of modules shown in 
Figure 4, which are developed as programs and/or program steps of the at least one 
microprocessor. 

Figure 4 shows a flow chart of the method of the preferred exemplary embodiment for the 

15 automatic control and/or tracking and/or determination of at least one calibration parameter 
of the geometrical calibration of at least one image sensor. The method presupposes that there 
is model knowledge 60 about the geometrical position of reference objects in the passenger 
compartment of the motor vehicle and/or about setpoint values 64 of the measured data of the 
at least one image sensor of the reference objects in the.passenger compartment of the motor 

20 vehicle. During use (operation), the sensor measured data, appertaining to the known 
reference objects, are detected in the form of image signals 22 by image sensor 12. The 
sensor measured data (image signals 22) of the reference objects are compared to setpoint 
data 64 in the model for difference formation 66, and from this there is recognized, in the 
module for determining calibration data 68, a decalibration of the image sensor and/or, from 

25 the sensor measured data (image signals 22) of the reference objects, at least one calibration 
parameter is determined via a mathematical model of the image sensor imaging. In the motor 
vehicle's passenger compartment, let us specify a Euclidian coordinate system (vehicle 
coordinate system). In the vehicle passenger compartment there are point-shaped reference 
objects Psubi (i — 1..N) having known 3D coordinates xi, yi, zi). Furthermore, the setpoint 

30 position of an image sensor in the 3D vehicle coordinate system (extrinsic calibration 

parameter) is given. The setpoint position is made up of 6 parameters, the position of the 
projection center of the image sensor in the motor vehicle: (tx, ty, tz) and the rotation 
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between the motor vehicle and the image sensor, which is indicated by the rotational angles 
a» v|/, y. From the rotational angles one obtains the rotational matrix 





(r 

Ml 


rn 


r \ 


^ COS ^ cos;' 


cos^^/'sin;^ 


-sin^^^ 










= sin a sin ^ cos;' -cos a sin/ 


sin a sin sin / H- cos a cos / 


sin or cos ^ 




/31 






^cos a sin ji/- cos y + sin a sin y 


cos a sin sin ;^ - sin a cos y 


Qosaoos^^ 



(1) 



5 Also known are the intrinsic calibration parameters, the chamber constants Cx, Cy and the 

coordinates of the image principal point xh, Yh The projection of the 3D coordinates (xj, ys, Zj) 
of the point objects into the image, into the image coordinates (x'i, y'i) may be 
mathematically described by: 



10 



Ihe result is setpoint coordinates x'si, y'si ot the point-shaped reference objects in the image. 
The measurement of the point- shaped reference objects in the image yields the image 
15 coordinates x'mIj y'Mi- The distance between setpoint position and actual position 



is used for the detection of decalibration of the sensor system. If distances are greater than a 
predefined threshold (dMSi > dMSmax), this establishes that there is decalibration of the image 
20 sensor. For a correction of the extrinsic calibration parameters (a, \|;, y, tx, ty, tz) of the image 
sensor, the parameters (a, v(/, y, tx, ty, tz) are varied, so that the error square sum between 
measured image coordinates and projected image coordinates becomes a minimum: 
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The image coordinatesx'(a, y, y, tx, ty, tz) and y'(a, V|/, y, tx, ty, tz) are given by the above 
projection rule (2). 

Figure 5 shows a general drawing of an additional exemplary embodiment having a device 
5 for determining at least one calibration parameter of image sensor 12. Figure 5 represents a 
broadening of Figure 1. In the following, only the additional parts in Figure 5 are explained. 
For the purpose of monitoring a decalibration, and/or for determining at least one calibration 
parameter of the geometrical calibration, in this exemplary embodiment, the position of 
design-conditioned objects present in the motor vehicle in the sensor measured data is 

10 monitored and followed. The design-conditioned objects present in the motor vehicle, such as 
door pillar 44 and/or the inside roof lining of the vehicle roof 46 and/or instrument 48 are 
used as reference objects, their position being measured and controlled as a function of the 
image signals of image sensor 12. Evaluation imit 14 includes, as in the preferred exemplary 
embodiment according to Figure 3, at least one microprocessor and is made up of a plxirality 

15 of modules shown in Figure 4, which are developed as programs and/or program steps of the 
at least one microprocessor. In one additional specific embodiment, as reference objects, both 
at least one reference object (a signalizing reference object), applied in the scene, for the 
determination of the at least one calibration parameter, and at least one naturally occurring 
object of the scene, that is, a design-conditioned object present in the passenger compartment 

20 of the motor vehicle, are used. 

The device described and the method for detemoining at least one calibration parameter of at 
least one image sensor are not limited to use in motor vehicle technology. Rather, the 
procedxire described, having the corresponding features, may also be used outside motor 
vehicle technology. The only assumption is that at least one image sensor is configured in 

25 such a way that the at least one image sensor is suitable for monitoring a scene that stays the 
same in parts. A scene that stays the same in parts is distinguished by the fact that parts of the 
scene are unchangeable in time. Such scenes occur, for example, in monitoring technology 
and safety technology. In the monitoring of airports, railroad stations or streets, the scene 
likewise stays the same. Another case of application is the monitoring of a room, such as the 

30 vault of a bank, using at least one image sensor. These scenes, as well, stay the same in parts. 
Furthermore, the method may be used in the case of at least one image sensor that is set up 
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for monitoring the surroundings of a motor vehicle. Here too, the assumption is that parts of 
the scene do not change with time. Parts that do not change with time are present if 
components of the motor vehicle, such as the hood and/or the bumper lie within the image 
coverage area of the at least one image sensor. 

5 hi one variant of the device and the method described, at least one reference object is applied 
to at least one object of the scene that is relevant with respect to the monitoring function of 
the at least one image sensor. Relevant objects are distinguished by either being directly the 
object of the monitoring function of the at least one image sensor 12, or alternatively or 
additionally being connected indirectly functionally to the monitoring function of the image 

10 sensor. In the field of motor vehicle technology, the air bag flap is an example of a relevant 
object which is directly functionally connected to the monitoring function of the image 
sensor. Although the image sensor is primarily used for monitoring the occupancy of the seat, 
the monitoring function is functionally connected to the air bag flap via the air bag control. In 
the field of safety technology, such as in the monitoring of a bank vault, the safe of the bank 

15 is directly the relevant object of the monitoring function of the at least one image sensor. 

The -device described above and the method are used in additional variants in the cases of at 
least one or more than one image sensors. As the image sensor, at least one monocular image 
sensor and/or at least one stereo camera and/or at least one depth image-suppljdng image 
sensor are used. Stereo cameras are made up of at least two image sensors, which essentially 
20 do a take of the same scene. In-depth image-supplying image sensors are distance image 
sensors, such as time-of-flight optical sensors (range video camera). 
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What Is Claimed Is: 



1 . A device for determining at least one calibration parameter of at least one image 
sensor, 

- the at least one image sensor monitoring a scene staying the same in parts, particularly 
the passenger compartment of a motor vehicle, 

- at least one processing miit detecting a decahbration of the at least one image sensor 
in the operation of the at least one image sensor, as a function of image signals, 

— upon the detection of a decalibration, .the processing xmit reporting the decahbration to 
a subsequent system and/or to the driver, and/or determining the at least one 
calibration parameter as a function of the image signals, 

— the at least one image sensor deriving the image signals at least from at least one 
invariant pattern in the image coverage range of the at least one image sensor. 

2. The device as recited in Claim 1, 

wherein the at least one invariant pattern is formed by at least one reference object applied in 
the scene for determining the at least one calibration parameter. 

3. The device as recited in Claim 2, 

wherein the at least one reference object is an illumination means, especially that the at least 
one reference object is an infrared light-emitting diode, and/or the at leaist one reference 
object is designed in such a way that it has high reflectivity, in particular, that it has a 
reflectivity between 0.5 and 1.0. 

4. The device as recited in one of Claims 2 through 3, 

wherein the at least one reference object has a geometrical shape, such as a point and/or a 
circle and/or a triangle and/or a quadrilateral and/or a square and/or the at least one reference 
object is at least one letter and/or at least one character and/or at least one logo. 

5. The device as recited in one of Claims 2 through 4, 

wherein the at least one reference object is applied to at least one object of the scene that is 
relevant with respect to the monitoring function of the at least one image sensor; particularly. 
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the at least one reference object is applied to at least one air bag flap and/or at least one air 
bag and/or at least one steering wheel in the passenger compartment of the motor vehicle. 

6. The device as recited in one of the preceding claims, 

wherein the at least one invariant pattem is formed by at least one natm-ally occmring object 
of the scene; in particular, the at least one invariant pattem is formed by at least one object 
located in design-conditioned fashion in the passenger compartment of a motor vehicle. 

7. A device for determining at least one calibration parameter of at least one image 
sensor, 

the at least one image sensor monitoring a scene staying the same in parts, particularly 
the passenger compartment of a motor vehicle, 

- a decalibration of the at least one image sensor being detected during the operation of 
the at least one image sensor as a function of image signals, 

- upon the detection of a decalibration, the decalibration being reported to a subsequent 
system and/or to the driver, and/or the at least one calibration parameter being 
determined as a function of the image signals, 

- the image signals being derived from at least one invariant pattem in the image 
coverage range of the at least one image sensor by the at least one image sensor. 

8. The method as recited in Claim 7, 

wherein the image signals are derived from at least one reference object applied in the scene 
for the determination of at least one calibration parameter and/or are derived at least from at 
Iccist one naturally occurring object of the scene, the at least one reference object being 
especially an illuminating means and/or the at least one reference object having a high 
reflectivity. 

9. The method as recited in Claim 8, 

wherein the image signals are derived from at least one reference object, the at least one 
reference object being applied to an object of the scene that is relevant with respect to the 
monitoring function of the at least one image sensor; particularly, the at least one reference 
object is applied to at least one air bag flap and/or at least one air bag and/or at least one 
steering wheel in the passenger compartment of the motor vehicle. 
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10. A computer program having program code means for carrying out all the steps of each 
of any of the Claims 7 through 9 when the program is run on a computer. 
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Abstract 



A device and a method are proposed for monitoring, tracking and determining at least one 
calibration parameter of the geometrical calibration of at least one image sensor, the at least 
one image sensor monitoring a scene that stays the same in parts. In one exemplary 
embodiment, the at least one image sensor is used for monitoring the passenger compartment 
of a motor vehicle. 

(Figure 1) 
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Xo Vorrichtung und Verfahren zur Kalibrierung eines Bildsensors 

Stand der Technik 

Die Erfindung betrifft eine Vorrichtung und ein Verfahren zur Bestimmung von 
15 Kalibrierparametern eines Bildsensors. 

Kraftfahrzeughersteller planen den Einsatz von Sensorik, insbesondere von Bildsensoren, zur 
Uberwachung des Innenraumes eines Kraftfahrzeuges. Vorgesehen ist die Verwendung von 
Bildsensoren bei der intelligenten Airbagsteuerung. Im Rahmen der intelligenten 

2 0 Airbagsteuerung wird an der Klassifikation der Sitzbelegung im Kraftfahrzeug gearbeitet, urn 

beispielsweise Verletzungen bei Kleinkindern durch die Auslosung des Airbags bei ruckwarts 
eingebauten Kindersitzen zu verhindern. Anderseits ist geplant, die Position von Korperteilen 
der Insassen, wie dem Kopf oder dem Rumpf, und/oder die Sitzhaltung der Insassen bezuglich 
des Airbags durch eine sogenannten „Out-of-Position Detektion" zu uberwachen, urn 

2 5 insbesondere Verletzungen durch zu dichte Positionierung des Kopfes am Airbagmodul bei 

dessen Auslosung zu verhindern. 

Beispielsweise ist aus der WO 0 1/60662 A 1 ein Verfahren und eine Vorrichtung zur 
Sitzbelegungserkennung mittels Videosensorik und FuBraumsensorik bekannt. Es wkd 
30 vorgeschlagen, die Kopfhohe einer auf einem Sitz befmdlichen Person mit der Videosensorik zu 

erfassen, zusammen mit der FuBraumsensorik eine Klassifikation der Sitzbelegung 
durchzufiihren und in Abhangigkeit der Sitzbelegung den Airbag zu steuern. Hinweise auf eine 
. Vorrichtung und ein Verfahren zur Bestimmung von Kalibrierparametern eines Bildsensors der 
Videosensorik fehlen in der WO 0 1/60662 A 1 . 



Vorteile der Erfindung 



Die nachfolgend beschriebene Vorrichtung zur Bestimmung wenigstens eines 
Kaiibrierparameters wenigstens eines Bildsensors, wobei bei einer erkannten Dekalibrierung des 
wenigstens einen Bildsensors wenigstens eine Verarbeitungseinheit den wenigstens einen 
Kalibrierparameter in Abhangigkeit von Bildsignalen bestimmt, die der wenigstens eine 
Bildsensor zumindest von wenigstens einem invarianten Muster ableitet, hat den Vorteil, dass 
eine Fehlfunktion wenigstens eines Bildsensors infolge von Dekalibrierungen erkannt und 
zusatzlich automatisch korrigiert werden kann. Altemativ oder zusatzlich ist as vorteilhaft, eine 
erkannte Dekalibrierung wenigstens einem nachfolgenden System und/oder dem Fahrer 
(Bediener) des Kraftfahrzeuges zu melden. Die automatische Uberwachung der Kalibrierung 
tragt in vorteilhafter Weise zu einer zuverlassigen Funktion von Bildsensoren bei und 
ermoglicht hierdurch insbesondere einen Einsatz von Bildsensoren fiir sicherheitskritische 
Anwendungen im Kraftfahrzeuginnenraum. 

Femer wird in vorteilhafter Weise der Aufwand der Montage des wenigstens einen Bildsensors 
im Kraftfahrzeug durch die automatische Bestimmung wenigstens eines Kaiibrierparameters 
verringert. Hierdurch entfallt die Notwendigkeit spezielle Kalibrierverfahren wahrend der 
Fertigung des Kraftfahrzeuges und/oder bei Reparaturarbeiten durchzuflihren. Femer tragt die 
Vorrichtung dazu bei, dass enge Fertigungstoleranzen, die ohne die nachfolgend beschriebene 
Vorrichtung zur Einhaltung von Kalibrierparametern spezifiziert werden miissten, vergroBert 
werden konnen. Hieraus ergibt sich eine besonders vorteilhafte Kostensienkung bei der 
Fertigung und/oder der Reparatur eines Kraftfahrzeuges. Zusammenfassend ist die nachfolgend 
beschriebene Vorrichtung in vorteilhafter Weise ftir den Serieneinsatz von Bildsensoren bei 
sicherheitskritischen Anwendungen in Kraftfahrzeugen, insbesondere bei einer intelligenten 
Airbagsteuerung, geeignet, da Fehlfunktionen der Bildsensoren insbesondere in Form einer 
Dekalibrierung erkannt werden. 

Besonders vorteilhaft ist die Bildung des wenigstens einen invarianten Musters durch 
wenigstens ein zur Bestimmung des wenigstens einen Kaiibrierparameters in der Szene 
angebrachtes Bezugsobjekt. Vorteilhaft ist die Nutzung von signal isierten Bezugsobjekten zur 
Kalibrierung wenigstens eines Bildsensors. Besonders vorteilhaft sind die signalisierten 
Bezugsobjekte im Innenraum von Kraftfahrzeugen. Signalisierte Bezugsobjekte haben den 



Vorteil, dass sie von der Sensorik einfach erfassbar sind und durch die Signalisierung mit 
Mittein der Signalverarbeitung in den Messdaten zuverlassig identifizierbaf sind, 

Vorteilhaft ist, wenn die Signalisierung der Bezugsobjekte durch eine besondere Helligkeit 
erreicht wird, entweder aktiv durch Leuchtmittel, wie LED-Dioden und/oder Infrarot- 
Leuchtdioden, und/oder passiv durch Oberflachen hoher Reflektivitat 

(Ruckstrahlungsvermogen, Albedo). Besondere Vorteile weisen daher Bezugsobjekte auf, die 
als Leuchtmittel, insbesondere als Leuchtdiode (LED-Dioden), ausgestaltet sind und/oder die 
eine hohe Reflektivitat haben. Derart gestaltete Bezugsobjekte tragen zu einer einfachen 
Erfassbarkeit des wenigstens einen invarianten Musters durch die Verarbeitungseinheit bei. 

Ferner ist von Vorteil, wenn die Signalisierung des wenigstens einen Bezugsobjektes durch eine 
besondere Form erreicht wird. Besonders vorteilhaft sind Bezugsobjekte, die eine geometrische 
Form haben, wie beispielsweise einen Punkt und/oder einen Kreis und/oder ein Dreieck 
und/oder ein Viereck und/oder ein Quadrat. Alternativ oder zusatzlich sind Buchstaben und/oder 
Schriftzuge und/oder Logos als Bezugsobjekte vorteilhaft. Dies tragt zu einer einfachen 
Identifizierbarkeit des wenigstens einen invarianten Musters in den Bildsignalen bei. 

Vorteilhaft ist ferner die Anordnung von Bezugsobjekten zu wenigstens einem 
zweidimensionalen (2D) und/oder wenigstens einem dreidimensionalen (3D) invarianten 
Muster, wobei das Muster eine geometrische Form, wie beispielsweise ein Kreuz und/oder ein 
Kreis und/oder einen Schriftzug, aufweist. Besonders vorteilhaft ist diese Variante der 
nachfolgend beschriebenen Vorrichtung in Verbindung mit signalisierten Bezugsobjekten, 
insbesondere mit durch Leuchtmittel, wie Leuchtdioden, signalisierten Bezugsobjekten. Dies 
tragt dazu bei, dass das wenigstens eine invariante Muster durch die Verarbeitungseinheit 
einfach wiedererkannt und gegebenenfalls verschiedene invariante Muster voneinander 
unterschieden werden konnen. 

Besonders vorteilhaft ist, wenn das wenigstens eine Bezugsobjekt auf wenigstens einem 
bezuglich der Uberwachungsfunktion des wenigstens einen Bildsensors relevanten Objekt der 
Szene angebracht ist. Insbesondere bei der Verwendung der Vorrichtung in einem Kraflfahrzeug 
ist es besonders vorteilhaft, wenn sich wenigstens ein bekanntes Bezugsobjekt und/oder ein 
invariantes Muster (Bezugsmuster) auf wenigstens einem fiir eine jeweilige Anwendung 
relevanten Objekt, wie beispielsweise der Airbag-Klappe und/oder dem eigentiichen Airbag 
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und/oder dem Lenkrad, befindet. Dies ermoglicht die Abstandmessung zwischen wenigstens 
einem oder mehreren dieser relevanten Objekte und anderen, auch nicht signalisierten Objekten 
im Kraftfahrzeuginnenraum, ohne dass die Lage und Ausrichtung der Sensorik, also des 
wenigstens einen Bildsensors, zu diesem wenigstens einem relevanten Objekt a priori, 
5 beispielsweise durch Vermessung mit einem weiteren Sensor, bekannt sein muss. 

Vorteilhaft ist femer, wenn das wenigstens eine invariante Muster altemativ oder zusatzlich 
durch wenigstens ein naturlich vorkommendes Objekt der Szene gebildet wird. Besohders 
vorteilhaft ist, wenn zum Zweck der Kalibrierung die Lage von bauartbedingt im Kraftfahrzeug 
10 vorhandenen Objekten in den Bildsignalen uberwacht und verfolgt wird. Bauartbedingt im 

Kraftfahrzeug vorhandene Objekte sind beispielsweise wenigstens ein Turholm und/oder 
wenigstens eine Armatur und/oder wenigstens ein Himmel des Kraftfahrzeugdaches. 

Vorteilhaft ist die nachfolgend beschriebene Vorrichtung zur Bestimmuhg wenigstens eines , 
1 5 Kalibrierparameters wenigstens eines CMOS-Bildsensors und/oder wenigstens eines CCD- 

Bildsensors und/oder wenigstens eines monokularen Bildsensors und/oder wenigstens einer 
Stereokamera und/oder wenigstens eines tiefenbildgebenden Bildsensors. 

Die vorstehend beschriebenen Vorteile der Vorrichtung gelten entsprechend fur das Verfahren 
2 0 zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines Bildsensors. 

Besonders vorteilhaft ist ein Computerprogramm mit Programmcodemitteln, um alle Schritte 
Oder zumindest die wesentlichen Schritte des nachfolgend beschriebenen Verfahrens 
durchzuflihren, wenn das Programm auf einem Computer ausgeftihrt wird. Die Verwendung 
2 5 eines Computerprogramms ermoglicht die schnelle und kostengunstige Anpassung des 

Verfahrens an unterschiedliche invariante Muster und/oder unterschiedliche Szenen, 
insbesondere unterschiedliche Innenraume von Kraftfahrzeugen. 

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausfiihrungsbeispielen 
30 mit Bezug auf die Figuren und aus den abhangigen Patentanspruchen. 



Zeichnung 



Die Erfindung wird nachstehend anhand der in der Zeichnung dargestellten Ausfuhrungsformen 
naher erlautert. 



Es zeigen: 

Figur 1 eine Ubersichtszeichnung, 
Figur 2 ein Blockdiagramm, 

- Figur 3 eine Ubersichtszeichnung des bevorzugten Ausfuhrungsbeispieis, 
Figur 4 ein Ablaufdiagramm, 

- Figur 5 eine Ubersichtszeichnung eines weiteren Ausfuhrungsbeispiels. 

Beschreibung von Ausfuhrungsbeispielen 

Nachfolgend werden eine Vorrichtung und ein Verfahren zur Uberwachung, Nachfuhrung and 
Bestimmung von wenigstens einem Kalibrierparameter der geometrischen Kalibrierung von 
wenigstens einem Bildsensor beschrieben, wobei der wenigstens eine Bildsensor derart 
konfiguriert ist, dass er eine in Teilen gleichbleibende Szene uberwacht. In einem 
Ausfuhrungsbeispiel wird der wenigstens eine Bildsensor zur Uberwachung des Innenraumes 
eines Kraftfahrzeuges verwendet. 

Beim Einsatz von Bildsensoren im Rahmen der intelligenten Airbagsteuerung im 
Fahrzeuginnenraum, insbesondere bei der Klassifikation der Sitzbelegung und/oder der Out-Of- 
Position Detektion, ist die Herstellung einer geometrischen Lagerelation zwischen Messdaten 
und Fahrzeuginnenraum, also beispielsweise der Karosse und/oder dem Airbagmodul, 
notwendig. Hierzu sind zwei unterschiedliche Vorgehensweisen denkbar. Zum einen ist es 
moglich, durch ein mathematisches Modell explizit die Messwerterfassung zu beschreiben. Das 
mathematische Modell enthalt numerische Kalibrierparameter, welche die Lage des wenigstens 
einen Bildsensors bezuglich des Kraftfahrzeuges beschreiben (extrinsische Kalibrierparameter 
der extrinsischen Kalibrierung) und/oder numerische Kalibrierparameter, welche die 
Messwerterfassung im wenigstens eine Bildsensor charakterisieren (intrinsischen 
Kalibrierparameter der intrinsischen Kalibrierung). Intrinsische Kalibrierparameter sind 
beispielsweise wenigstens eine Kamerakonstante und/oder wenigstens ein Kamerahauptpunkt 
und/oder wenigstens ein Verzeichnisparameter. Bei der zweiten Vorgehensweise erfolgt eine 
direkte Auswertung der Messdaten, beispielsweise uber einen Klassifikator. Dabei existieren 
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explizit keine numerischen Kalibrierparameter im Gesamtsystem Bildsensor und Auswertung. 
Zur Klassifikation wird in der Verarbeitungseinheit ein lernfahiger Klassiflkator, beispielsweise 
ein neuronales Netz, verwendet. Der Klassiflkator wird zunachst trainiert. Hierzu werden mit 
dem Sensor verschiedene Sitzbelegungen, beispielsweise Sitz leer und/oder Kindersitz, 
5 aufgenommen und zur Situation manuell die gewollten, korrekten Entscheidung, wie 

beispielsweise Sitz leer, gespeichert. Die Messdaten mit korrekter Entscheidung werden dem 
Klassiflkator mitgeteilt, der hieraus Daten filr die Klassifikation extrahiert (Anlemen des 
neuronalen Netzes). Im spateren Einsatz wird der Klassiflkator aus ankommenden Messdaten 
eine Entscheidung ableiten. Uber die Geometrie und die Kalibrierung weiB der Klassiflkator 

10 nichts. Wenn der Bildsensor seine Lage im Kraftfahrzeug andert, ist nicht sichergestellt, dass 

der Klassiflkator ohne emeutes Anlemen korrekte Ergebnisse liefert. Nach Inbetriebnahme 
eines Bildsensors in einem Kraftfahrzeug zur Uberwachung des Innenraumes mussen 
entsprechend der beiden Vorgehensweisen entweder die Kalibrierparameter bekannt sein 
und/oder bestimmt werden oder es werden implizit die Eigenschaften der Messwerterfassung als 

1 5 bekannt und uber den Einsatzzeitraum als unveranderlich vorausgesetzt. Diese Eigenschaften 

des wenigstens einen Bildsensors, dass eine explizit und/oder implizit bekannte geometrische 
Lagerelation zwischen den Messdaten und der uberwachten Szene, insbesondere dem 
Innenraum des Kraftfahrzeuges, besteht, wird als geometrische Kalibrierung des wenigstens 
einen Bildsensors bezeichnet. 



20 



Die nachfolgend beschriebene Vorrichtung und das Verfahren leisten eine automatische 
Uberwachung und Erkennung von Dekalibrierung, beispielsweise durch Dejustage und/oder 
Anderungen in der Messwerterfassung, des wenigstens einen Bildsensors. Daneben ermoglichen 
die Vorrichtung und das Verfahren die automatische Bestimmung und/oder Nachfiihrung von 

2 5 wenigstens einem Kalibrierparameter des wenigstens einen Bildsensors wahrend des 

Sensorbetriebes. FUr die automatische Uberwachung der Dekalibrierung und die Kalibrierung 
des wenigstens einen Bildsensors wird wenigstens ein spezielles signal isiertes Bezugsobjekt, 
das im bevorzugten Ausfiihrungsbeispiel im Innenraum eines Kraftfahrzeugs angebracht ist, 
und/oder wenigstens ein naturlich vorkommendes Objekt der Szene, im bevorzugten 

3 0 Ausfiihrungsbeispiel wenigstens ein bauartbedingt im Kraftfahrzeug vorhandenes Objekt, als 

Bezugsobjekt verwendet. Die Bezugsobjekte werden mit dem wenigstens einen Bildsensor 
beobachtet. Ferner werden die zu den Bezugsobjekten zugehorigen Messdaten des wenigstens 
einen Bildsensors ausgewertet, indem die Messdaten mit den Solldaten verglichen werden. 
Anhand der Differenz zwischen Messdaten und Solldaten wird die Funktion des wenigstens 



einen Bildsensors iiberwacht und/oder der wenigstens eine Bildsensor nach Bestimmung 
wenigstens eines Kalibrierparameters kalibriert. 

Figur 1 zeigt eine Ubersichtszeichnung des bevorzugten Ausfuhrungsbeispiels zur Eriauterung 
der Verwendung des Bildsensors 12, der zur Uberwachung des Innenraumes 28 eines 
Kraflfahrzeuges eingesetzt wird. Der Bildsensor 12 ist so im Bereich der Windschutzscheibe 30 
und des Daches 36 des Kraftfahrzeuges angebracht, dass der Bilderfassungsbereich des 
Bildsensors 12 den Innenraum 28 des Kraftfahrzeuges erfasst Dabei nimmt der Bildsensors 12 
den Sitz 38, beispielsweise den Beifahrersitz, und/oder die Kopfstutze 40 auf. Femer erfasst der 
Bildsensor 12 gegebenenfalls eine nicht eingezeichnete Person und/oder andere Gegenstande im 
Innenraum 28, insbesondere auf dem Sitz 38. Der Bildsensor 12 ist uber eine Signalleitung 26 
mit einer Verarbeitungseinheit 14 verbunden. In der Figur 1 ist die Lage 30 des Bildsensors 12 
in Bezug zum Bezugssystem 32 des Krafirfahrzeugs dargestelit. Ferner zeigt die Figur 1 ein 
Airbagmodui 50, das zum Schutz von Personen im Innenraum 28 bei einem Unfall des 
Kraftfahrzeuges eingesetzt wird. 

Figur 2 zeigt ein Blockdiagramm der Figur 1, bestehend aus der zu iiberwachenden Szene 10, 
dem Bildsensor 12 und einer Verarbeitungseinheit 14. Die zu iiberwachende Szene 10 ist der 
Innenraum des Kraftfahrzeuges. Der Bildsensor 12 erzeugt aus der Lichtstrahlung 20 der zu 
uberwachenden Szene 10 Bildsignale 22: Die Bildsignale 22 werden als Messdaten uber die 
Signalleitung 26 nach Figur 1 zur Verarbeitungseinheit 14 ubertragen. In der 
Verarbeitungseinheit 14 wird zum einen das nachfolgend beschriebene Verfahren zur 
Bestimmung wenigstens eines Kalibrierparameters durchgefiihrt. Zum anderen fmdet in der 
Verarbeitungseinheit 14 die Verarbeitung der Bildsignale 22 des Bildsensors 12 statt, um die 
Uberwachungsfunktion des Bildsensors 12 zu erfullen. Der Bildsensor 12 und die 
Verarbeitungseinheit 14 bilden das Messsystem 16. Im bevorzugten Ausfiihrungsbeispiel wird 
der Bildsensor 12 zur intelligenten Airbagsteuerung eingesetzt. Die Verarbeitungseinheit 14 
wertet die Bildsignale 22 aus, um Signale des Messsystems 24 uber eine Signalleitung an ein 
nachfolgendes System 18 zur Airbagsteuerung weiterzuleiten. Die Signale des Messsystems 24 
beinhalten Informationen zur Klassifikation der Sitzbelegung und/oder Daten uber die Out-Of- 
Position Detektion von Personen auf den Sitzen des Kraftfahrzeuges. Die Ubeitragung der 
Bildsignale 22 und/oder der Signale des Messsystems 24 auf den Signalleitungen erfolgt 
elektrisch und/oder optisch und/oder per Funk. In einer Variante des bevorzugten 



Ausfuhrungsbeispiels ist der Bildsensor 12 und/oder die Verarbeitungseinheit 14 und/oder das 
nachfolgende System 18 in einer oder gegebenenfalls mehreren Einheiten realisiert. 

Figur 3 zeigt eine Ubersichtszeichnung des bevorzugten Ausfuhrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 3 
ist eine Erweiterung der Figur 1. Im folgenden werden nur die zusatzlichen Teile der Figur 3 
erlautert, Im Innenraum 28 des Kraftfahrzeuges werden speziell signalisierte Objekte 42 so 
eingebracht, dass sie im Bilderfassungsbereich des Bildsensors sind. Signalisierte Objekte 42 
sind Objekte, die sich mit dem jeweiligen Sensorsystem, im bevorzugten Ausfiihrungsbeispiel 
dem Bildsensor 12, gut automatisch detektieren lassen. Im bevorzugten Ausfuhrungsbeispiel 
werden Infrarot-Leuchtdioden (IR-Leuchtdioden) eingesetzt. Die Position der signalisierten 
Objekte 42 in den Messdaten (Bildsignale) des Bildsensors 12 (Videosensor) werden mit der 
Sollposition der signalisierten Objekte 42 in der Verarbeitungseinheit 14 verglichen. Bei 
Abweichungen wird eine Dekalibrierung erkannt. Femer wird die Position der signalisierten 
Objekte 42 in den Sensormessdaten zur Nachfuhrung und/oder Bestimmung von wenigstens 
einem Kalibrierparameter eingesetzt. In einer Variante des bevorzugten Ausfuhrungsbeispiels 
werden als signalisierte Bezugsobjekte 42 Bezugsobjekte mit Oberflachen mit hoher 
Reflektivitat verwendet. Vorzugsweise werden signalisierte Bezugsobjekte 42 mit einer 
Reflektivitat zwischen 0,5 und 1,0 eingesetzt. Die Synonyme Reflektivitat, Ruckstrahlvermogen 
und Albedo geben den Anteil der auf eine Oberflache einfallenden Strahlung an, die 
zuruckgestrahlt wird. Der Wert der Reflektivitat kann Werte zwischen 0 bis 1 annehmen, wobei 
ein Wert von 1 bedeutet, dass 100% der einfallenden Strahlung zuruckgestrahlt wird. Zusatzlich 
weisen die Bezugsobjekte gegebenenfalls eine geometrische Form auf Als geometrische 
Formen werden beispielsweise wenigstens ein Punkt und/oder wenigstens ein Kreis und/oder 
wenigstens ein Dreieck und/oder wenigstens ein Viereck und/oder wenigstens ein Quadrat 
verwendet. Alternativ oder zusatzlich zu der geometrischen Form werden in weiteren Varianten 
als Bezugsobjekte wenigstens ein Buchstabe und/oder wenigstens ein Schriftzug und/oder 
wenigstens ein Logo verwendet. In einer weiteren Variante sind mehrere Bezugsobjekte 
alternativ oder zusatzlich zu einem 2D- oder 3D-Muster, beispielsweise wenigstens einem 
Kreuz und/oder wenigstens einem Kreis und/oder wenigstens einem Schriftzug, angeordnet. 
Ferner sind die Bezugsobjekte und/oder die Muster alternativ oder zusatzlich auf wenigstens 
einem fiir die jeweilige Anwendung relevanten Objekt, beispielsweise der Airbag-Klappe 
und/oder dem eigentlichen Airbag und/oder dem Lenkrad, angebracht. Die Verarbeitungseinheit 
14 umfasst wenigstens einen Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten 
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Modulen, die als Programme und/oder Program mschritte des wenigstens einen Mikroprozessors 
ausgestaltet sind. 

Figur 4 zeigt ein Ablaufdiagramm des Verfahrens des bevorzugten Ausfuhrungsbeispiels zur 
5 automatischen KontroHe und/oder Nachfuhrung und/oder Bestimmung wenigstens eines 

Kalibrierparameters der geometrischen Kalibrierung des wenigstens einen Bildsensors. Das 
Verfahren setzt Modellwissen 60 uber die geometrische Lage von Bezugsobjekten im 
Innenraum des Kraftfahrzeuges und/oder uber die Sollwerte 64 der Messdaten des wenigstens 
einen Bildsensors der Bezugsobjekte des Innenraumes des Kraftfahrzeuges voraus. Wahrend 

10 . des Einsatzes (Betrieb) werden die zu den bekannten Bezugsobjekten zugehorigen 

Sensormessdaten in Form von Bildsignalen 22 durch den Bildsensor 12 detektiert. Die 
Sensormessdaten (Bildsignale 22) der Bezugsobjekte werden m it den Solldaten 64 im Modul 
ziir Differenzbildung 66 verglichen und hieraus im Modul zur Bestimmung der Kalibrierdaten 
68 eine Dekalibrierung des Bildsensors erkannt und/oder es werden aus den Sensormessdaten 

1 5 (Bildsignale 22) der Bezugsobjekte wenigstens ein Kalibrierparameter iiber ein mathematisches 

Modell der Bildsensorabbildung bestimmt Im Kraftfahrzeug-Innenraum sei ein euklidisches 
Koordinatensystem (Fahrzeugkoordinatensystem) defmiert. Es gibt im Fahrzeug-Innenraum 
punktfdrmige Bezugsobjekte Pi (i=l..N) mit bekannten 3D-Koordinaten (xi, yi, zi). Weiterhin 
ist die SolUage eines Bildsensors im 3D-Fahrzeugkoordinatensystem (extrinsische 

20 Kalibrierparameter) gegeben. Die Solllage besteht aus 6 Parametern, der Position des 

Projektionszentrums des Bildsensors im Kraftahrzeug: (tx, ty, tz) und der Rotation zwischen 
Kraftfahrzeug und Bildsensor, die mit den Dreliwinkeln a, v|/, y, angegeben wird. Aus den 
Drehwinkelri ergibt sich die Rotationsmatrix 



R = 



^12 '•13'^ 



cos cos;' cos sin X -sin^ ^ 

smasmii/ cos y - cos a sin ;^ sin a sin ^^/^ sin ;^ + cosa cos;^ sin a cos y/ 
cos a sin cos / + sin a sin y cosa sin ^ sin / - sin a cos y cosa cos y/ J 



(1) 



2 5 Weiterhin sind die intrinsische Kalibrierparameter, die Kammerkonstanten Cx, Cy und die 

Koordinaten des Bildhauptpunktes Xh, Vh bekannt. Die Projektion der 3D-Koordinaten (x;, yj, Zi) 
der Punktobjekte in das Bild, in die Bildkoordinaten (x'j, y'j) lasst sich mathematisch 
beschreiben mit: 



- ^ ) + ^32 -(y) + (Z, - ^ ) 



Ergebnis sind Sollkoordinaten x'si, y\i der punktfbrmigen Bezugsobjekte im Bild. Die Messung 
der punktfbrmigen Bezugsobjekte im Bild liefert die Bildkoordinaten x'mj, y'Mi.. Die Distanz 
zwischen Solllage und Istlage 

ds^> = V(^«-^V/)' +(^5-^^)' (3) 
wird flir die Erkennung der Dekalibrierung des Sensorsystems verwendet. Wenn Distanzen uber 
einer vorgegebenen Schwelle liegen (dMSt^dMSmax) dann liegt eine Dekalibrierung des 
Bildsensors vor. Fur eine Korrektur der extrinsischen Kalibrierparameter (a, v]/, y, tx, ty, tz) des 
Bildsensors werden die Parameter (a, y, tx, ty, tz) variiert, so dass die Fehlerquadratsumme 
zwischen gemessenen Bildkoordinaten und projizierten Bildkoordinaten minimal wird: 

Die Bildkoordinaten x'(a, v|/, y, tx, ty, tz) bzw. y'(a, \\f, y, tx, ty, tz) ergeben sich aus der obigen 
Projektionsvorschrift (2). 

Figur 5 zeigt eine Ubersichtszeichnung eines weiteren Ausfiihrungsbeispiels mit einer 
Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters des Bildsensors 12. Figur 5 
ist eine Erweiterung der Figur 1 . Im folgenden werden nur die zusatzlichen Teile der Figur 5 
erlautert. Zum Zweck der Uberwachung einer Dekalibrierung und/oder zur Bestimmung 
wenigstens eines Kalibrierparameters der geometrischen Kalibrierung werden in diesem 
Ausfuhrungsbeispiel die Lage von bauartbedingt im Kraftfahrzeug vorhandenen Objekten in 
den Sensormessdaten uberwacht und verfolgt. Die bauartbedingt im Kraftfahrzeug vorhandenen 
Objekte, wie der Turholm 44 und/oder der Himmel des Fahrzeugdaches 46 und/oder die 
Armatur 48, werden als Bezugsobjekte verwendet, wobei deren Lage in Abhangigkeit der 
Bildsignale des Bildsensors 12 vermessen und kontrolliert wird. Die Verarbeitungseinheit 14 
umfasst wie im bevorzugten Ausfuhrungsbeispiel nach Figur 3 wenigstens einen 
Mikroprozessor und besteht aus mehreren in Figur 4 dargestellten Modulen, die als Programme 
und/oder Programmschritte des wenigstens einen Mikroprozessors ausgestaltet sind. In einer 
weiteren Ausfuhrungsform werden als Bezugsobjekte sowohl wenigstens ein zur Bestimmung 
des wenigstens einen Kalibrierparameters in der Szene angebrachtes Bezugsobjekt (ein 
signalisierendes Bezugsobjekt) und wenigstens ein naturlich vorkommendes Objekt der Szene, 
also ein bauartbedingt im Innenraum des Kraftfahrzeuges befindliches Objekt, verwendet. 



Die beschriebene Vorrichtung und das Verfahren zur Bestimmung wenigstens eines 
Kalibrierparameters wenigstens eines Bildsensors, sind nicht auf den Einsatz in der 
Kraftfahrzeugtechnik beschrankt. Vielmehr lasst sich die beschriebene Vorgehensweise mit den 
entsprechenden Merkmalen auch auBerhalb der Kraftfahrzeugtechnik einsetzen. Voraussetzung 
ist lediglich, dass wenigstens ein Bildsensor derart konfiguriert ist, dass der wenigstens eine 
Bildsensor zur Uberwachung einer in Teilen gleichbleibenden Szene geeignet ist. Eine in Teilen 
gleichbleibende Szene zeichnet sich dadurch aus, dass die Teile der Szene zeitlich 
unveranderlich sind. Solche Szenen treten beispielsweise in der Uberwachungstechnik und der 
Sicherheitstechnik auf. Bei der Uberwachung von Flughafen, Bahnhofen oder StraJien ist die 
Szene ebenfalls in Teilen gleichbleibend, Ein anderer Anwendungsfall ist die Uberwachung 
eines Raumes, beispielsweise eines Tresorraumes einer Bank, mit wenigstens einem Bildsensor. 
Auch diese Szenen sind in Teilen gleichbleibend. Femer lasst sich das Verfahren bei wenigstens 
einem Bildsensor verwenden, der zur Uberwachung der Umgebung eines Kraftfahrzeuges 
eingesetzt wird. Voraussetzung ist auch hier, dass Teile der Szene zeitlich unveranderlich sind. 
Zeitlich uriveranderliche Teile liegen dann vor, wenn Bestandteile des Kraftfahrzeuges, 
beispielsweise die Motorhaube und/oder die StoBstange, im Bilderfassungsbereich des 
wenigstens einen Bildsensors liegen. 

In einer Variante der beschriebenen Vorrichtung und des Verfahrens ist wenigstens ein 
Bezugsobjekt auf wenigstens einem bezuglich der Uberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht. Relevante Objekte zeichnen sich dadurch 
aus, dass sie entweder direkt das Objekt der Uberwachungsfunktion des wenigstens einen 
Bildsensors 12 sind oder alternativ oder zusatzlich indirekt ftinktional mit der 
Uberwachungsfunktion des Bildsensors verbunden sind. Im Bereich der Kraftfahrzeugtechnik 
sind die Airbagklappe ein Beispiel fiir ein relevantes Objekt, das indirekt ftinktional mit der 
Uberwachungsfunktion des Bildsensors verbunden ist. Obwohl der Bildsensor primar zur 
Uberwachung der Belegungssituation der Sitze verwendet wird, ist die Uberwachungsfunktion 
funktional iiber die Airbagsteuerung mit der Airbag-Klappe verbunden. Im Bereich der 
Sicherheitstechnik, beispielsweise bei der Uberwachung eines Tresorraumes einer Bank, ist der 
Tresor der Bank direkt das relevante Objekt der Uberwachungsfunktion des wenigstens einen 
Bildsensors. 

Die vorstehend beschriebene Vorrichtung und das Verfahren werden in weiteren Varianten bei 
wenigstens einem oder mehr als einem Bildsensor angewendet. Als Bildsensorefi wird 
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wenigstens ein monokularer Bildsensor und/oder wenigstens eine Stereokamera und/oder 
wenigstens ein tiefenbildgebender Bildsensor verwendet. Stereokameras bestehen aus . 
wenigstens zwei Bildsensoren, die im wesentlichen dieselbe Szene aiifnehmen, 
Tiefenbildgebende Bildsensoren sind Entfemungsbild-Sensor, beispielsweise Time-of-Flight 
optische Sensoren (range video camera). 



Patentanspriiche 

1 . Vorrichtung zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, uberwacht, 
wobei wenigstens eine Verarbeitungseinheit in Abhangigkeit von Bildsignalen eine 
Dekalibrierung des wenigstens einen Bildsensors im Betrieb des wenigstens einen 
Bildsensors erkennt, 

wobei die wenigstens eine Verarbeitungseinheit bei einer erkannten Dekalibrierung die 
Dekalibrierung einem nachfolgenden System und/oder dem Fahrer meldet, und/oder den 
wenigstens einen Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt, 
wobei der wenigstens eine Bildsensor die Bildsignale zumindest von wenigstens einem 
invarianten Muster im Bilderfassungsbereich des wenigstens einen Bildsensors ableitet. 

2. Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das wenigstens eine invariante 
Muster durch wenigstens ein zur Bestimmung des wenigstens einen Kalibrierparameters in 
der Szene angebrachtes Bezugsobjekt gebildet wird. 

3. Vorrichtimg nach Anspruch 2, dadurch gekennzeichnet, dass das wenigstens eine 
Bezugsobjekt ein Leuchtmittel ist, insbesondere dass das wenigstens eine Bezugsobjekt eine 
Infrarot-Leuchtdiode ist, und/oder dass das wenigstens eine Bezugsobjekt derart gestaltet 
ist, dass es eine hohe Reflektivitat aufweist, insbesondere, dass es eine Reflektivitat 
zwischen 0,5 und 1 ,0 aufweist. 



Vorrichtung nach einem der Anspruche 2 bis 3, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt eine geometrische Form hat, beispielsweise ein Punkt 
und/oder ein Kreis und/oder ein Dreieck und/oder ein Viereck und/oder ein Quadrat, 
und/oder dass das wenigstens eine Bezugsobjekt wenigstens ein Buchstabe und/oder 
wenigstens ein Schriftzug und/oder wenigstens ein Logo ist. 

Vorrichtung nach einem der Anspruche 2 bis 4, dadurch gekennzeichnet, dass das 
wenigstens eine Bezugsobjekt auf wenigstens einem bezuglich der Uberwachungsfunktion 
des wenigstens einen Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, 
dass das wenigstens eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder 
wenigstens einem Airbag und/oder wenigstens einem Lenkrad im Innenraum des 
Kraftfahrzeuges angebracht ist. 

Vorrichtung nach einem der vorhergehenden Anspruche, dadurch gekennzeichnet, dass das 
wenigstens eine invariante Muster durch wenigstens ein naturlich vorkommendes Objekt 
der Szene gebildet wird, insbesondere, dass das wenigstens eine invariante Muster durch 
wenigstens ein bauartbedingt im Innenraum eines Kraftfahrzeug befindliches Objekt 
gebildet wird. 

Verfahren zur Bestimmung wenigstens eines Kalibrierparameters wenigstens eines 
Bildsensors, 

wobei der wenigstens eine Bildsensor eine in Teilen gleichbleibende Szene, 
insbesondere den Innenraumes eines Kraftfahrzeuges, uberwacht, 

wobei eine Dekalibrierung des wenigstens einen Bildsensors wahrend des Betriebes des 
wenigstens einen Bildsensors in Abhangigkeit von Bildsignalen erkannt wird, 
wobei bei einer erkannten Dekalibrierung die Dekalibrierung einem nachfolgenden 
System und/oder dem Fahrer gemeldet wird, und/oder der wenigstens eine 
Kalibrierparameter in Abhangigkeit von den Bildsignalen bestimmt wird, 
wobei die Bildsignale zumindest von wenigstens einem invarianten Muster im 
Bilderfassungsbereich des wenigstens einen Bildsensors von dem wenigstens einen 
Bildsensor abgeleitet werden. 

Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die Bildsignale zumindest von 
wenigstens einem zur Bestimmung des wenigstens einen Kalibrierparameters in der Szene 
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angebrachten Bezugsobjekt und/oder zumindest wenigstens einem naturlich vorkommenden 
Objektes der Szene abgeleitet werden, wobei das wenigstens eine Bezugsobjekt 
insbesondere ein Leuchtmittel ist und/oder das wenigstens eine Bezugsobjekt eine hohe 
Reflektivitat aufweist. 

5 

9. Verfahren nach Anspruch 8, dadurch gekennzeichnet, dass die Bildsignale von zumindest 
wenigstens einem Bezugsobjektes abgeleitet werderi, wobei das wenigstens eine 
Bezugsobjekt auf einem bezuglich der Oberwachungsfunktion des wenigstens einen 
Bildsensors relevanten Objekt der Szene angebracht ist, insbesondere, dass das wenigstens 

10 eine Bezugsobjekt auf wenigstens einer Airbag-Klappe und/oder wenigstens einem Airbag 

und/oder wenigstens einem Lenkrad im Innenraum des Kraflfahrzeuges angebracht ist. 

10. Computerprogramm mit Programmcode-Mitteln, um alle Schritte von jedem beliebigen der 
Anspriiche 7 bis 9 durchzufiihren, wenn das Programm auf einem Computer ausgefiihrt 

15 wird. 
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10 

Zusammenfassung 

Es werden eine Vorrichtung und ein Verfahren zur Uberwachung, Nachfiihrung und 
15 . Bestimmung von wenigstens einem Kalibrierparameter der geometrischen Kalibrierung von 

wenigstens einem Bildsensor vorgeschlagen, wobei der wenigstens eine Bildsensor eine in 
Teilen gleichbleibende Szene uberwacht. In einem Ausfiihrungsbeispiel wird der wenigstens 
eine Bildsensor zur Uberwachung des Innenraumes eines Kraftfahrzeuges verwendet. 



20 



(Figur I) 



